边缘AI方案选型最容易犯的错，是拿一张TOPS表当答案。真正落到产线质检、门店客流、园区安防这些现场，决定项目能不能交付的，往往是端到端延迟、p95抖动、整机功耗、散热降频、模型转换成本和多路视频并发能力。这篇文章把我们反复做过的边缘AI推理测试整理成一套可复现的行业使用教程，围绕主流边缘AI方案的性能实测对比，把Jetson Orin、RK3588、Intel OpenVINO、昇腾Atlas、Google Coral等方案放在同一套测试口径下看一遍，并给出选型与部署建议。

说明：文中的性能数据是同一测试脚本、相近模型版本下的参考区间，不是厂商排行榜。不同BSP、驱动、散热结构、量化精度和预处理实现都会改变结果。拿样机复测，永远比看参数表可靠。

一、为什么边缘AI选型不能只看TOPS

TOPS是峰值算力指标，边缘AI方案的实际表现却由一整条链路决定。摄像头解码、图像缩放、颜色空间转换、模型前后处理、NMS、内存拷贝、CPU调度，任何一段拖后腿，端到端延迟都会上去。我们见过标称算力很高的板子，单看推理不慢，但接上两路1080p视频后帧率掉一半，原因不是NPU不行，而是解码和内存带宽先到瓶颈。

另一个常被忽略的是功耗与散热。边缘设备通常塞在铝壳、机柜或设备箱里，实验室裸板跑出的FPS，装进现场结构件后可能因为温度墙降频三成。所以这篇主流边缘AI方案的性能实测对比，会把整机功耗、能效比和持续运行稳定性放在和FPS同等重要的位置。

对SEO读者和工程读者都一样：搜索“边缘AI方案性能实测”的人，通常不是想看概念，而是想知道某块板子能不能扛住自己的模型和路数。下面的测试方法就是为这个目的写的。

二、参与对比的主流边缘AI方案与测试配置

这次对比覆盖六类常见路线：NVIDIA Jetson AGX Orin 32GB、Jetson Orin Nano 8GB、瑞芯微RK3588、Intel NUC 13 i5配OpenVINO、华为昇腾Atlas 200I DK A2、Google Coral USB/Dev Board。它们分别代表GPU加速、NPU加速、CPU/iGPU推理和低功耗Edge TPU路线，基本覆盖了国内边缘AI项目的主流选型范围。

测试模型选了两个：YOLOv8n 640×640目标检测和MobileNetV3 224×224分类。前者看端到端检测链路，后者看纯推理吞吐。精度统一优先INT8，Jetson部分同时记录FP16，方便看量化收益。所有方案先跑预热200帧，再连续跑1000帧，记录p50和p95延迟；视频并发用1080p H.264硬解码后抽帧，按每路15FPS目标统计最大稳定路数。

需要强调，模型转换路径不同会带来明显差异：Jetson走ONNX到TensorRT，RK3588走ONNX到RKNN Toolkit2，Intel走ONNX到OpenVINO IR，Atlas走ONNX到ATC，Coral走TFLite到Edge TPU编译器。转换时的量化校准集、输入布局和算子支持，都会影响最终成绩。这也是为什么同一模型在不同边缘AI方案上，不能简单按TOPS折算。

三、单路YOLOv8n实测：延迟、FPS与能效比

先看最常用的单路YOLOv8n 640检测。下表是端到端p50延迟，包含预处理、推理和后处理，不含视频解码。功耗为整机输入侧采样，含主板、内存和散热风扇。

这张表里最值得看的不是谁第一，而是几条分界线。AGX Orin适合对延迟和多路并发都有要求的场景，算力余量大，但功耗和成本也高。Orin Nano是很多项目的第一块试产板，单路YOLOv8n能进40FPS以上，端到端延迟控制在25ms内，配合TensorRT生态，调试成本低。RK3588的能效比很亮眼，在6-10W整机功耗下能跑到30FPS上下，适合成本敏感的盒子产品，但RKNN对算子、量化和多线程调度的要求更细。

Intel NUC加OpenVINO的优势不在能效，而在x86软件生态和部署习惯。已有C++/Python服务、习惯Docker和系统包管理的团队，迁移会轻一些。Atlas 200I DK A2在昇腾生态项目里有价值，CANN工具链需要熟悉ATC转换和量化校准，调顺后稳定性不错。Coral更适合轻量模型和超低功耗场景，YOLOv8n这种检测模型在它上面延迟偏高，不建议拿它硬扛多路检测。

四、多路视频并发与持续稳定性

单路FPS好看，不代表能接多路。我们把每路1080p视频按15FPS抽帧送入检测链路，统计连续运行30分钟不出现明显积压的最大路数。结果是：AGX Orin约12-16路，Orin Nano约4-6路，RK3588约3-5路，Intel NUC约3-5路，Atlas 200I约2-4路，Coral约1路。这个区间受解码方式影响很大，软解和硬解差一倍并不奇怪。

持续稳定性比峰值更值得记录。Orin Nano在15W模式下加铝壳无风扇，连续跑一小时后温度接近上限，FPS会从60左右掉到45-50；换成小风扇或25W模式并做好风道，波动明显收窄。RK3588不加散热片时温度墙来得很快，降频后延迟p95会抖；加一块像样的散热片和外壳导热，表现会稳很多。Intel NUC自带风扇，温度不是大问题，但整机功耗和风扇噪声要提前和现场确认。Atlas和Coral对供电质量、USB链路稳定性比较敏感，长线缆和劣质电源会带来偶发掉线。

所以做主流边缘AI方案的性能实测对比，必须记录p95而不是只看平均FPS。p95延迟才是业务侧感知的卡顿来源。视频并发测试还要看解码器占用、内存增长和丢帧计数，别只看推理进程的FPS。

五、不同场景该怎么选

产线质检这类场景通常要求稳定低延迟，模型可能不大，但节拍固定，p95不能抖。Orin Nano和RK3588都值得进样机池：前者软件生态省心，后者功耗和成本更友好。如果现场有多工位、多相机，AGX Orin的余量更踏实。Intel方案适合已经有x86服务体系的工厂，OpenVINO调优后CPU/iGPU也能打，但要接受能效比不占优。

门店客流和园区安防更看多路视频和长期无人值守。4-8路以内，Orin Nano加硬解码是稳妥路线；成本压得紧，RK3588做3-5路、模型量化到位也能交付。超过10路且模型较复杂，直接上AGX Orin或分布式多盒子，别指望低功耗板子硬扛。Coral适合门禁、计数、轻量分类这类单点任务，用在多路YOLO检测上会别扭。

机器人和车载边缘盒子还要看功耗、供电和实时性。Orin系列在ROS/ROS2生态里资料多，RK3588适合对功耗敏感的移动设备，Atlas适合国产化要求明确的项目。选型时把“模型能不能转”“团队会不会调”“供货能不能持续”三件事放在同一张表里，比只看TOPS更接近真实决策。

六、一套可复现的边缘AI性能实测教程

想自己复测，建议按下面五步走。第一步，先把业务指标写死：单路p95延迟上限、目标路数、整机功耗上限、工作温度范围、模型精度掉点容忍度。没有这些数字，测试结果没法比较。第二步，固定测试条件：同一段视频、同一分辨率、同一量化校准集、同一电源、同一散热结构，关闭无关后台进程，记录BSP和驱动版本。

第三步，打通模型转换链路。Jetson用ONNX转TensorRT，注意输入尺寸和NMS放在引擎内还是引擎外；RK3588用RKNN Toolkit2，先做量化校准再评估掉点；Intel用OpenVINO转换并尝试CPU/iGPU不同设备；Atlas用ATC转换，确认算子支持；Coral用TFLite并检查是否全部算子能落到Edge TPU。第四步，写压测脚本，预热后连续跑1000帧，记录每帧时间戳，输出p50、p95、p99和FPS，同时用功率计或板载传感器采样整机功耗和温度。第五步，做30分钟以上持续运行和多路并发，记录丢帧、内存增长和降频情况。

复现时容易忽略预处理。很多“推理很快”的数据，是把 resize、归一化和NMS都排除在外算出来的。业务侧感知的是端到端，所以测试脚本要把前后处理算进去。另一个坑是量化校准集和现场分布不一致，INT8在测试集上精度正常，上线后小目标漏检。建议保留一套现场抽帧的校准集，量化后做一轮召回对比。

七、常见问题与选型建议

问：边缘AI方案只看TOPS行不行？ 

不行。TOPS是峰值，端到端延迟、内存带宽、解码能力、散热和软件栈更影响交付。

问：Jetson Orin Nano和RK3588怎么选？ 

要生态省心、TensorRT资料多、模型迭代快，选Orin Nano；要低功耗、成本敏感、团队愿意调RKNN，选RK3588。

问：INT8掉点怎么办？ 

先检查校准集是否覆盖现场分布，再做逐层敏感度分析，必要时混合精度或换更稳的量化策略

问：多路视频选什么？ 

4-6路优先Orin Nano或RK3588，8路以上看AGX Orin或多盒子分布式。

问：功耗怎么测准？ 

用输入侧功率计，记录空闲、单路、多路和满载四组数据，别只信板载估算。

给一个实用选型顺序：先定路数和p95延迟，再定功耗和散热结构，然后筛模型转换链路过得去的方案，最后拿两块样机复测。主流边缘AI方案的性能实测对比不是找“最强”，而是找“在你的机箱、你的模型、你的视频流下最稳”的那一块。

边缘AI项目交付后，客户不会问TOPS，只会问为什么第三路视频开始卡、为什么下午机箱烫了以后帧率掉、为什么换了个模型就要重写后处理。把测试口径统一、把p95和功耗记录清楚、把散热和量化提前做掉，比任何参数表都管用。这篇主流边缘AI方案的性能实测对比给出的是一套方法和参考区间，真正做选型时，建议至少拿Jetson Orin Nano、RK3588和目标x86/国产方案各一块样机，用你自己的模型跑一遍，再决定量产BOM。